תצפיות } n X={x 1,,x העולם.

Transcript

1 9 פרק ב הסקה סטטיסטית. על בעיית ההסקה הסטטיסטית הסקה סטטיסטית iferece (statistical מטפלת במצב בו יש לנו נתונים שנוצרו מתוך התפלגות שאינה ידועה לנו, ועלינו לנתח אותם ולהסיק מסקנות לגביהם ולגבי ההתפלגות שיצרה אותם. במילים אחרות, ברבות מהבעיות הסטטיסטיות בהן נדון, קיימות כמה התפלגויות אפשריות שיצרו נתונים מסוימים (ובבעיות אמיתיות, מספר אינסופי של התפלגויות אפשריות כאלו, ואנחנו מנסים ללמוד על ההתפלגויות האלו, להסיק על תכונות מסוימות שלהן, ולקבוע את הסבירות שכל אחת מההתפלגויות האלו היא זו שיצרה את הנתונים בפועל. בפרק הנוכחי נתאר את הגישה הבייסיאנית להסקה סטטיסטית. כדי להבהיר את המושגים הבסיסיים, נתמקד במקרה הפשוט בו יש מספר קטן של התפלגויות אפשריות שיצרו את הנתונים.. הסקה והכרעה בייסיאנית תורת ההסקה הבייסיאנית היא גישה סטטיסטית לקבלת החלטות בתנאי אי ודאות. גישה זו מבוססת על ההנחה כי הידע הרלבנטי להחלטה מבוטא בצורה הסתברותית וכי כל ההסתברויות הרלוונטיות ידועות. המודל הפורמלי להכרעה בייסיאנית מבוסס על חמישה מרכיבים שיתוארו להלן... תמונת העולם בגישה הבייסיאנית הדוגמא הקאנונית המשמשת לתיאור תמונת העולם הבייסיאנית, היא אדם היוצא מהבית ביום חורפי ומתלבט האם לקחת עמו מטריה. נניח לשם הפשטות כי קיימות מבחינתו שתי אפשרויות בלבד: יהיה יום גשום או לא. מצד אחד הוא חושש להרטב אם לא ייקח מטריה ויהיה גשום, ומצד שני אם ייקח מטריה ביום ללא גשם, ייסחב אתה שלא לצורך. האדם מציץ מהחלון ורואה עננים שחורים וכבדים, ולכן מחליט שהסיכון לגשם גובר, ומחליט לקחת מטריה. תיאור פורמלי של הבעיה במונחים בייסיאנים מתבסס על המרכיבים הבאים:

2 3 קבוצת מצבי העולם האפשריים } i Ω{ω "מצבי העולם" מוגדרים כך שידיעת מצב העולם מספקת לנו מידע הסתברותי מקסימלי: ידועות לנו ההתפלגויות שיצרו את התצפיות. מצבי העולם השונים הם זרים ω ω φ וממצים ω Ω. j i j תצפיות } X{x,,x אלו הם הנתונים שיש בידינו ומהם אנחנו מנסים להסיק מהו מצב העולם. בדרך כלל לא נוכל להסיק בוודאות מתוך התבוננות בתצפיות מהו מצב העולם. מודל הסתברותי של העולם } i P{P (ω i,p(x ω על פי הגישה הבייסיאנית אנו מניחים כי יש לנו ידע הסתברותי מפורש על העולם. ידע זה כולל הסתברויות א-פריוריות i P ω על הסיכוי להמצא במצב עולם ω, i והסתברויות מותנות לערכי התצפיות X בהינתן מצב עולם נתון i.p(x j ω פעולות אפשריות } k A{α,,α קבוצת הפעולות מביניהן עלינו לבחור. לכל פעולה נקבע מחיר (ראה הפריט הבא התלוי במצב העולם, ונשאף כמובן לבחור בפעולה המתאימה ביותר למצב העולם. מחיר לכל פעולה } i Λ{λ(α k,ω לתוצאות של הפעולות שלנו יש, כידוע, מחיר, וזה נקבע על פי מצב העולם. פעולה שאינה מתאימה למצב העולם בו אנחנו נמצאים תלווה בדרך כלל בקנס (מחיר בעל ערך חיובי, ופעולה מתאימה תלווה ברווח עבורנו (מחיר אי שלילי. המחיר של פעולה α k במצב עולם ω i יסומן ב-. Λ{λ(α k ω i } ואת מטריצת המחירים נסמן ב-,λ(α k ω i בדוגמת המטריה שתיארנו קודם, הרי שישנם שני מצבי עולם אפשריים (יש או אין גשם, ונניח כי שכיחותם של ימי הגשם בחורף ידועה. ישנן גם שתי פעולות אפשריות (לקחת מטריה או לא, ולשתיהן מחירים שונים כתלות בשאלה האם ירד גשם או לא. התצפית (ענני גשם משנה את ההערכה על ההסתברות שגשם אכן ירד, ומשפיעה על ההחלטה לקחת מטריה. הגישה הבייסיאנית לקבלת החלטות דורשת שיהיו בידיכם הן ההסתברות האפריוריות (שכיחות ימי הגשם, והן ההסתברויות המותנות (מה ההסתברות לעננות כבדה ביום גשום. למרות שמידע כזה אינו ידוע בדרך כלל במפורש לכל אדם, הרי שאין מניעה עקרונית לאסוף אותו, כך שהאזרח התמים יוכל לשמור על בגדיו יבשים במינימום מאמץ.

3 3 נפנה כעת לדון באסטרטגיה הנכונה לקבלת החלטות בגישה הבייסיאנית... הכרעה בייסיאנית בהינתן בעיית ההכרעה הבייסיאנית,{Ω,X,P,A,Λ} נרצה לבחור את הפעולה האופטימלית שכדאי לנקוט אם אנו רואים תצפית x. j לצורך כך, ננסה כעת להגדיר פונקצית החלטה דטרמיניסטית α : X A המתאימה לכל תצפית פעולה x j אופטימלית. עד כה הגדרנו מחיר לפעולות בהינתן מצב העולם, אך מה שנתון לנו בפועל הן התצפיות ולכן עלינו לשקלל את מחירי הפעולות בהתאם להסתברויות של מצבי העולם השונים, כפי שהן מושפעות מהתצפיות שברשותנו. α k הסיכון המותנה כדי למצוא פונקצית החלטה דטרמיניסטית אופטימלית נגדיר את הסיכון המותנה x בהינתן שראינו תצפית α לביצוע פעולה (Coditioal Risk j (. R( αk xj λ( αk ωi P( ωi xj, ωi Ω ω i k ואת ההסתברות האפוסטריורית להימצא במצב עולם בנוסחת בייס (סעיף.. נחשב תוך שימוש Px ( ω Px ( ω P( ω x P( ω P ( ω i j j i j i i Px ( j Px ( j ωt P ( ωt i ωt הסיכון הכולל בהינתן אסטרטגיית הכרעה הקובעת באיזו פעולה ננקוט עבור כל תצפית, ניתן לחשב את הסיכון הכולל של שימוש בפונקציה כזו. הסיכון הכולל הוא ממוצע הסיכונים על פני התצפיות האפשריות: (. R[ α( x ] R( α ( xj xj P( xj [ α ] j R ( x R( α( xj xj P( xj dx X ובמקרה הרציף

4 3 משפט: פונקצית ההכרעה האופטימלית פונקצית ההכרעה α*(x המביאה למינימום את הסיכון הכולל תהיה הפונקציה המביאה למינימום את הסיכון המותנה לכל תצפית אפשרית. במלים אחרות, פונקצית ההכרעה האופטימלית קובעת לכל תצפית x את הפעולה בעלת הסיכון המותנה הקטן ביותר. ובאופן פורמלי: בהינתן x הכרע *α אם לכל α' α* מתקיים.R(α* x R(α' x הוכחה, R( α* x R( α' x מתקיים x לכל α' α* ולכל ולכן מתקיים [ α*( ] [ α'( ] R x R x ( α*( ( ( α'( x P( x R x x P x R x i i i i i i i i כנדרש. פונקצית δ כפונקצית מחיר ולכן הסיכון מקבל משמעות פשוטה כאשר פונקצית המחיר מקבלת ערך אפס אם בחרנו ω. λ α עם פונקצית המחיר הזו, אנחנו נכונה וערך אם שגינו δ ( k i ki משלמים מחיר רק אם טעינו, ולכן הסיכון המותנה הוא פשוט הסיכוי לטעות R ( α x ( δ P ( ω x P ( ω x k j ki i j i i i k והסיכון הכולל יהיה הסיכוי הכולל לטעות (עבור כל התצפיות האפשריות. ההכרעה האופטימלי במקרה זה גם הוא פשוט - "בחר את מצב העולם הסביר ביותר בהנתן x" ( Pw יהיה מקסימלי. k ובאופן פורמלי בחר α( x αk כך ש- x כלל j

5 33..3 שני מצבי עולם הכרעה בייסיאנית אופטימלית ראינו כי ההכרעה הבייסיאנית האופטימלית מתבצעת על ידי בחירת אסטרטגיית- פעולה שהיא בעלת הסיכון המותנה הנמוך ביותר. במקרה שקיימים רק שני מצבי עולם, ושתי פעוות אפשריות, אסטרטגיה זו מקבלת צורה פשוטה במיוחד. אם α i היא הפעולה המתאימה למצב עולם ו- λ ij הוא המחיר שנשלם על הפעולה α i ωi ( במצב עולם, ω λα, λ אז הסיכון המותנה בבחירת הפעולה α הוא ω R( α x λ P( ω x + λ P( ω x ij i j j R x P( x P( x ( α λ ω + λ ω והסיכון המותנה בבחירת הפעולה α הוא ובגבול ההכרעה יהיו כל התצפיות שעבורן מתקיים שוויון בין הסיכונים, λp( ω x + λ P( ω x λp( ω x + λp( ω x ( λ λ P ω x ( λ λ P( ω ( x P( ω x λ λ (.3 P( ω x λ λ כלומר כאשר נשתמש בנוסחת בייס, נעביר אגפים ונקבל P( x ω P ( ω λ λ P( x ω P ( ω λ λ אגף שמאל של המשוואה נקרא יחס הנראות ratio,(likelihood זהו היחס בין הנראות של התצפית (ההסתברות לראות תצפית במצב העולם הראשון לבין הנראות במצב העולם השני. נוכל אם כן להגדיר סף Θ: Θ P ( ω λ P ( ω λ λ λ, ולחלק באמצעותו את מרחב התצפיות לשני אזורים זרים: אזור בו יחס הנראות גדול מהסף Θ ובו נכריע ω ואזור בו יחס הנראות קטן מהסף Θ ובו נכריע. ω הגבול בין שני אזורים אלו יהיה כל התצפיות עבורן מתקיים

6 34.(Decisio Boudary והוא נקרא גבול ההכרעה, P( x ω Px ( ω Θ המבחן שבו נשתמש יהיה אם כן להכריע ω אם ורק אם Px ( ω (.4 Px ( ω >Θ מקרה פרטי: פונקצית δ כפונקצית מחיר נטפל כעת במקרה בו פונקצית המחיר היא λ(α k ω, i δ-( kj ועלינו להכריע בין שני מצבי העולם. הסיכון הכולל [α ]R במקרה כזה הוא עבור משתנים מקריים בדידים P error ( P ω ω mi ( x, P( x P( x t t t t t t Px ( t ω P( ω Px ( t ω P( ω mi, Px ( t Px ( t Px ( t mi ( Px ( ω P( ω, Px ( ω P( ω t t ושוב מרחב התצפיות מתחלק לאזור בו מתקיים ( Pω, P( x ω P( ω > Px ( ω ובו נכריע לטובת מצב העולם,ω ושאר המרחב בו נכריע לטובת מצב העולם ω. דוגמא עלי הכותרת של הפרח המצוי "לבלב מצוי" אחיד בין סנטימטר אחד לבין. סנטימטר. ניחנים באורך מופלג המתפלג באופן x. Px ( ω otherwise עלי הכותרת של הזן הנדיר "לבלב נדיר" (הזהה לחלוטין לאחיו להיות ארוכים יותר, על פי פונקצית ההתפלגות הם בעלי נטייה ( x x. Pxω ( otherwise קל לוודא כי פונקציות אלו הן התפלגויות והאינטגרל עליהם הוא אחד. מהו כלל ההכרעה האופטימלי לאבחנה בין שני סוגי הלבלבים אם ידוע כי בדיוק 55 אחוזים מהלבלבים הפורחים במחוזותינו נמנים על פרח הלבלב המצוי, והשאר הם לבלבים "נדירים"?

7 35 נרצה למצוא כלל הכרעה כפונקציה של אורך העלים, כך שלכל פרח שנמצא, נוכל להכריע בין שני מצבי העולם. נרצה להכריע "לבלב מצוי" אם (ורק אם מתקיים x. P( ω x > P( ω נרשום אם כן P( ω x Px ( ω P( ω Px ( ω P( ω + Px ( ω P( ω ( x.45 9x 3.5 9x 9 P( ω x P( ω x 9x 3.5 x, P( ω x P( ω דהיינו הנקודות על גבול ההכרעה מקיימות 5.5 9x 9 x.6 9x 3.5 9x 3.5 ולכן נכריע לטובת הלבלב הנדיר אם ורק אם אורך עלי הכותרת יהיה גדול מ-,.6 כלומר אף פעם.

8 36 דוגמא: שונות גבול הכרעה עבור שני מצבי עולם והתפלגויות נורמליות שוות איור. גבול ההכרעה בין שתי התפלגויות נורמליות בעלות שונויות שוות הוא מפריד לינארי. הדגמה עבור התפלגויות חד מימדיות, דו מימדיות ותלת מימדיות.

9 37 דוגמא: גבול הכרעה עבור שני מצבי עולם והתפלגויות נורמליות דו ממדיות איור. גבולות ההכרעה בין שתי התפלגויות נורמליות בעלות שונויות שונות. במקרה החד ממדי מתקבלים תחום שאינו רצוף. במקרה הדו ממדי גבולות ההכרעה הן פונקציות ממעלה שניה (אליפסות, היפרבולות.

10 38.3 בדיקת השערות פשוטות ומבחן סף בסעיף הקודם תיארנו את הגישה הבייסיאנית לקבלת החלטות בתנאי אי ודאות. על מנת להשלים את התמונה, נתאר כעת בקצרה גישה סטטיסטית שונה לבדיקת השערות..3. מושגים בבדיקת השערות הגדרות H H נניח כי אוסף מצבי העולם מתחלק לשתי קבוצות זרות אותן נסמן Ω ו- Ω. נסמן ב- H את ההשערה כי מצב העולם הוא בקבוצה Ω וכן נסמן ב- H את ההשערה כי מצב העולם הוא בקבוצה Ω. כאשר Ω מכילה רק מצב עולם יחיד, אזי ההשערה H מכונה השערה פשוטה hypothesis,(simple בעוד שבמקרה בו הקבוצה מכילה מספר מצבי עולם אפשריים היא מכונה השערה מורכבת. Ω ו- באופן דומה מגדירים עבור H.(composite hypothesis באופן סימטרי, אך בבעיות רבות נהוג ו- עד כה התייחסנו להשערות (ברירת H מסמלת את המצב השכיח נהוג ש- להתייחס אליהן באופן שונה. H מסמלת את המחדל ומכונה השערת האפס hypothesis,(the ull בעוד (The alterative ההשערה האלטרנטיבית המצב הנדיר או המסוכן ומכונה.hypothesis דוגמא: נאמר שאנחנו רוצים לזהות האם בבדיקת משטח גרון ישנו זיהום חיידקי. ידוע כי תוצאת ספירת החיידקים באדם בריא מתפלג נורמלית עם ממוצע ושונות, ואילו באדם חולה הספירה מתפלגת נורמלית עם ממוצע בין 5 ל- ושונות 5. במקרה זה השערת האפס תהיה כי האדם בריא, והיא השערה פשוטה, בעוד שההשערה האלטרנטיבית H היא ההשערה שהאדם חולה והיא השערה מורכבת היות והקבוצה Ω מכילה קבוצה שלמה של מצבי עולם אפשריים, לכל אחד מהם תוחלת אחרת. שני סוגי שגיאות כאשר קיימות שתי קבוצות של מצבי עולם יש גם שני סוגים של שגיאות אפשריות. שגיאה ראשונה positive (false היא המקרה בו נקבל בטעות את H למרות שמצב העולם הוא ב- Ω. במקרה של השגיאה השניה egative (false נקבל בטעות את H.

11 39.3. פרוצדורות הכרעה אופטימליות פרוצדורת הכרעה להשערות פשוטות: משפט ניימן-פירסון נתאר כעת פרוצדורת הכרעה אופטימלית כאשר שתי ההשערות הן פשוטות. תהי δ פרוצדורת הכרעה כלשהי, אז נהוג לסמן את הסתברויות השגיאה באופן הבא: (.5 α( δ Pr(Rejectig H Ω βδ ( Pr(Acceptig H Ω השגיאה α נקראת גם המובהקות של המבחן,ו- (β- נקראת עוצמת המבחן. בבואנו להגדיר פרוצדורה להכרעה בין שתי השערות נרצה להביא למינימום את השגיאות α ו- β. נוכל כמובן לקבוע מבחן שמכריע תמיד H, ובכך להביא את השגיאה α לאפס, אך במקרה כזה השגיאה β תהיה אחת. קריטריון שנראה סביר הוא לנסות ולהביא למינימום קומבינציה לינארית של השגיאות מהצורה (δ. aα ( (δ + bβ( עבור קריטריון כזה קיימת פרוצדורת הכרעה שהיא אופטימלית במובן הבא: לכל בחירת ערך של α הפרוצדורה מביאה למינימום את β. הפרוצדורה המבוקשת מתוארת על ידי הלמה של ניימן-פירסון (933: יהי <Θ ו- *δ פרוצדורת הכרעה בעלת המבנה הבא: ההשערה H מתקבלת אם (x f ( (x >Θf ( ואילו ההשערה מתקבלת אם H f (כאשר f ( x < Θf ( x היא ההסתברות לקבל התצפית x בהנחת המקיימת δ, אחרת הכרעה פרוצדורת לכל אז H. i אז δ* α( δ < α( ואם δ, β ( β( δ* αמתקיים δ α( δ*. β ( δ > β( δ* i למרות פשטות ההוכחה לא נוכיח את הלמה כאן מטעמי קיצור. המסקנה ממשפט זה היא שלכל רמת מובהקות α, מבחן יחס נראות מהצורה f( x (.6 f ( x >Θ משיג עוצמה מקסימלית (דהיינו שגיאת β מינימלית. בסעיף הקודם הגענו למסקנה דומה לגבי מבחן יחס נראות כאשר נקטנו בגישה בייסיאנית, אבל כאן לא נדרשנו להניח כי ידועות לנו ההתפלגויות האפריוריות של מצבי העולם, אלא קיבלנו כי מבחן יחס נראות הוא אופטימלי במקרה של הכרעה בין שתי השערות פשוטות. השערות מורכבות כאשר עוברים לטפל בהשערות מורכבות, דהיינו להכריע בין קבוצות אפשריות של מצבי עולם, הסתברויות השגיאה α ו- β, אינן מוגדרות היטב ויש להגדירן כראוי. פתרון בגישה הבייסיאנית יהיה להביט על השגיאות הממוצעות מסוג α ו- β, (למשל α תהיה הסיכוי לדחות את H באופן ממוצע על פני מצבי העולם ב-, Ω

12 4 אך גישה זו דורשת לדעת את ההסתברויות האפריוריות לכל אחד ממצבי העולם ב-. Ω הגישה הסטטיסטית המקובלת נמנעת מלהגדיר הסתברויות אפריוריות כאלו, ובמקום זה מגדירה (.7 α sup ( Pr(Reject H ω, ω Ω דהיינו ניקח את המקרה הגרוע ביותר מבין כל מצבי העולם בקבוצה Ω. במקרה זה לא קיים משפט מקביל ללמה של ניימן-פירסון ולא קיים מבחן שמבטיח עוצמה מקסימלית לכל מצב עולם ω;. ניתן עם זאת להגדיר פרוצדורה דומה של יחס נראות המקיימת תכונות מועילות אחרות שלא נכנס אליהן כאן..4 תצפיות מרובות ומבחן סדרתי.4. שימוש בתצפיות מרובות עד כה התמקדנו במקרה בו נתונה לנו תצפית אופטימלי מהצורה בודדת x, וראינו כלל הכרעה Px ( ω Px ( ω >Θ. אך למעשה כל הניתוח שלנו מתאים גם למקרה בו נתונות לנו תצפיות מרובות, שאז נשתמש בכלל הכרעה מהצורה Px (,..., x ω >Θ, Px (,..., x ω וכפי שראינו, עבור בחירה נכונה של הסף, כלל הכרעה זו הוא אופטימלי במובן של מינימום סיכון. פעמים רבות, התצפיות שלנו נאספות על ידי חזרות מרובות על אותו ניסוי. במקרה כזה (ואם הניסוי נערך כהלכה, לכל התצפיות ישנה אותה התפלגות והן בלתי תלויות. במקרה זה המשתנים המקריים המתאימים הם שווי התפלגות ובלתי תלויים זה בזה בהנתן מצב העולם, כך שכלל ההכרעה עבור תצפיות מרובות מקבל את הצורה Px ( i ω >Θ. Px ( ω i i.4. בחינת תצפיות מרובות באופן סדרתי הניתוח לעיל מתאים למקרה בו כל התצפיות ניתנות "בבת אחת". קיימים מקרים רבים בהם התצפיות נאספות בזו אחר זו ויש לנו אפשרות לנסות ולהכריע במהלך איסוף התצפיות. בעיות מסוג זה נקראות בעיות למידת o-lie (בניגוד למקרה בו כל הדגימות נתונות מראש הנקרא למידת.(batch נפנה כעת לנתח את התפתחות הציונים שתיארנו עבור תצפיות הניתנות בזו אחר זו. כפי שראינו, עבור תצפית בודדת מתקיים

13 4 Px ( ω P( ω, x P( ω x P( ω P( ω Px ( P( ω Px ( הסתכלות אפשרית על נוסחה זו היא כי ההסתברות האפריורית למצב העולם x], P( ω, x [ P( ω P( וכאשר גורם תיקון זה (ω P מוכפלת ב- "גורם תיקון " ( Px, המדידה מספקת אינפורמציה, ω P( ω Px ( שונה מאחד, כלומר כאשר ( על מצב העולם. אם יש לנו שתי מדידות, תהיה אזי ההסתברות למצב העולם לאור שתי התצפיות P( ω x, x P( ω P( x, x ω P ( x, x Px ( ω Px ( ω, x P ( ω Px ( Px ( x x, x וגורמי התיקון כאן הולכים ומסתבכים. במקרה בו התצפיות בלתי-תלויות בהינתן מצב העולם, ω, Px (, x ω Px ( ω Px ( אז ניתן לרשום דהיינו Px (,..., x ωi P( ωi x,..., x P( ωi Px (,..., x P ( ω m j Px (,..., x ω Px (,..., x ω P( ω j j Px (,..., x ω P( ω j j Px (,..., x ω P( ω j i i + i m m Px (,..., x ω P( ω j j Px (,..., x ω P( ω j i i i i

14 4 ובמקרה שקיימים רק שני מצבי עולם נקבל (.8 P( ω x,..., x Px (,..., x ω P( ω + Px (,..., x ω P( ω P ( ω P( x ω + P ( ( i i ω P xi ω Px ( i ω P( ω + exp log + log i Px ( i ω P( ω וקיבלנו פונקציה סיגמואידית שהשיפוע שלה גדל עם, כלומר, היכולת להבחין בין שני מצבי העולם גדלה וההסתברויות נעשות חדות עם הגידול במספר התצפיות. כאשר גדול, ההסתברות למצב עולם בהנתן התצפיות היא או אפס, או אחת. Sequetial Probability Ratio Test.4.3 מבחן סדרתי להכרעה - (SPRT נשוב לבעיית ההכרעה הבייסיאנית. בפרק הקודם תיארנו פרוצדורה להכרעה בין שני מצבי עולם בה השווינו את יחס הנראות לסף. כעת, כאשר אנחנו פועלים בתרחיש של למידת,o-lie יש לפנינו שלוש אפשרויות במקום שתיים: בנוסף לשתי ההכרעות (לקבל מצב עולם או לקבל מצב עולם אנחנו יכולים ל"החליט שלא להחליט", ולדרוש נתונים נוספים לצורך הכרעה. מסתבר כי בדומה למבחן ההשוואה לסף אותו תיארנו בפרק הקודם, ניתן לבחור ספים עבור פרוצדורה מסוג זה כך שיובטחו הסתברויות השגיאה הנדרשות. נעבור אם כן לתיאור פורמלי של פרוצדורת ההכרעה מסוג זה. משפט: (94 (Wald בהנתן β,α נגדיר מבחן "סדרתי" המשתמש בשני ספים (.9 ( ( ω ( ω L x α < α decisio < < β β L( x ( L( x ω ( L( x ω ( ( ω α ( ( ω L x < L x β α β ω cotiue ω

15 תי- 43 אם נסמן ב- ' α את הסתברות השגיאה מסוג ראשון של מבחן זה, ןב- β α ' α ו- ' β. הסתברות השגיאה מסוג שני, אזי מובטח כי α β ' β את מבחן זה מכריע מצב עולם אם חוצים את הסף העליון, מצב עולם אם יורדים מתחת לסף התחתון, ובמקרה שערכו של יחס הנראות הוא בין שני הספים, יש לחכות לתצפיות נוספות. בפועל, פרט לאי דיוק הנובע מכך דגימות הן אלמנטים בדידים, מתקיים α ' α ו-. β ' β הוכחה: יהיו A ו- B שני ספים (מאוחר יותר נגדיר את הערכים שלהם במפורש, ולעת עתה יהיו מספרים כלשהם, ובאמצעותם נגדיר את קבוצת סדרות התצפיות באורך שעבורן אנחנו מכריעים ω בדיוק כשהגענו לתצפית ה- - ית (. C { ( x such that decide ω exactly after observatios ( l L( x ω ( x such that for ( l ω B A l L( x ( ( ω ( ( ω L x.. ad < B L x } (. ובאופן דומה את קבוצת הסדרות באורך עבורן נכריע ω בתצפית ה- ( x such that decide ω { D exactly after observatios ( x suc ( l ( ω ( l ω L x h that B A for l L x ( ( ( ω ( ( ω L x.. ad A < L x } המאורע בו נכריע ωהוא איחוד המאורעות } C}, שהם מאורעות זרים וממצים. לכן, הסיכוי הכולל שנכריע ω הוא פשוט סכום הסיכויים שנכריע ω בכל צעד, כלומר P ( decide ω P( C

16 (. α ( ω 44 והסתברות השגיאה מסוג ראשון α נתונה על ידי: ( ( X ω C PC Pr ( ability to decide ω while ω ( probability to decide ω while ω β prob C Pr ( ( X ω וכן (.3 α Pr X ω β D D Pr ( ( ( ( X ω. ובאופן דומה אחרי תצפיות בדיוק מתקיים ω (,..., x (הכרענו כעת לכל סדרה x C, Pr Pr ולכן ( ( ( x ω B Pr X ω C α Pr C ( B β α D A β Pr ( ( ( x ω B ( X ω ( ( ( ( X ω A Pr( X ω D ולכל סדרה ב- D מתקיים כלומר מצאנו חסמים על הסתברויות השגיאה במונחים של ערכי הסף A ו- B. המסקנה מניתוח זה היא שבהנתן ערכי שגיאות α ו- β 'A ו- 'B, התלויים רק ב- α ו- רצויים נוכל לקבוע ספים (.4 α B' β α A' β β 'A. ולכן מבטיחים כי אם נעבור אותם נעבור A ו- B' וספים אלו מקיימים B α ' α /( β ו- גם את A ו- B והסתברויות השגיאה בפועל של המבחן יקיימו

17 45. β ' β / α האיור המצורף להלן מבהיר את היחס בין ספים אלו. כאמור ניתן גם להראות כי בפועל, פרט לאי דיוק הנובע מכך שהדגימות הן אלמנטים בדידים, מתקיים α ' α ו-. β ' β כפי שכבר ציינו, בדרך כלל נשתמש במבחן לוג יחס הנראות במקום ביחס הנראות, ולכן גם בלוג של הספים. דוגמא 4 בתכנון ערכה לזיהוי תאים סרטניים נרצה הסתברות גילוי של 99.99% α ( 3 והסתברות התראות שווא של.% β (, ונקבל את הספים הבאים המבטיחים שלא נחרוג מהסתברויות השגיאה הנדרשות α.9999 A log 3 ( A 3 β 4 α B ( B β log 4 כמות התצפיות הדרושות לקבלת הכרעה המבחן הסדרתי מאפשר לנו להגיע להכרעה עם מספר תצפיות שמשתנה באופן גמיש: אם בשל מזל טוב במיוחד התצפיות הראשונות שקיבלנו הן כאלו שעבורן קל להכריע, הרי שנסתפק בהן. אם לעומת זאת נקבל תצפיות שאינו מאפשרות הכרעה, הרי שנצטרך להשתמש ביותר תצפיות. מסתבר, שבאופן ממוצע פרוצדורת המבחן הסדרתי דורשת שימוש בפחות תצפיות מאשר כמות התצפיות הדרושה במבחן יחס נראות שאיננו סדרתי. לכן פרוצדורה כזו היא שימושית במיוחד במקרה שיש עלות גבוהה לייצר דגימה (למשל כאשר כל אחת מהתצפיות דורשת לבצע ניסוי ארוך/יקר/מסוכן על נבדקים מתנדבים. למעשה, התיאוריה אותה אנו מתארים פותחה לראשונה על ידי Wald לצורך בדיקת איכות של סדרות פגזים במלחמת העולם השניה: בהינתן סדרת ייצור של פגזים, היה צורך לבצע ניסויי ירי ולהכריע האם הסדרה תקינה או פגומה. השאיפה להכריע לגבי תקינות הסדרה על ידי שימוש בכמה שפחות פגזים, הביאה את הצי האמריקאי לפנות לסטטיסטיקאים שיפתחו פרוצדורות יעילות לבחינת הפגזים.

18 כדי להעריך כמה תצפיות בממוצע דרושות על מנת לקבל הכרעה, נתבונן כיצד L X log כפונקציה של. כאשר הדגימות הן בלתי תלויות בהנתן L X ( ω ( ω, P X ונרשום ( (, ω (, ω ( ( ( ω P( X i i ω ( i ω ( ω P P X y log P i P X i ( P ( ω ( P( xi ω log + log ( ω ( ω ( ω ( ω i ( P ( ω ( P( xi ω log log i ( i ω ( ω P P x log + log P P x i i ( i ω ( ω 46 מתנהג מצב העולם, אז P P x log log P + i P x i a + b כלומר קבלנו משוואה לינארית מהצורה y a + b כשהשיפוע (.5 ( i ω ( ω P x a log i P xi הוא הממוצע האמפירי של לוג יחס הנראות. על-פי החוק החלש של המספרים הגדולים, ממוצע של משתנים מקריים המתפלגים i.i.d. שואף לתוחלת (x. x x p( ההסתברות לפיה נחשב את התוחלת תלויה במצב (.6 lim P x log P x ( i ω ( ω i i ( ' ω ( ' ω P x P( x' ω log x ' P x ω i i { x} העולם האמיתי, ולכן נקבל במצב

19 47 ובמצב ω, שוב על פי חוק המספרים הגדולים (.7 lim P x log P x ( i ω ( ω i i ( ' ω ( ' ω P x P( x' ω log x ' P x ( ' ω ( ' ω P x P( x' ω log x ' P x הביטויים שקיבלנו מכילים תלויות במדד חשוב לדמיון בין התפלגויות שאותו נתאר בסעיף הבא. The Kullback Leibler.4.4 Divergece מדד לדמיון בין התפלגויות הגדרה: המרחק הסטטיסטי עבור X מ"מ בדיד ו- P, ו- Q שתי התפלגויות, הגודל (.8 D[ p q] p( x p( xlog x qx ( מהווה מדד למידת הדמיון הסטטיסטי בין ההתפלגויות. לגודל מספר רב של שמות:, Kullback Leibler Divergece, Relative Etropy, Cross Etropy וחשיבותו רבה בתורת האינפורמציה, בלמידה חישובית ובפיסיקה סטטיסטית. למרבה הבלבול, תחומי מדע שונים נוהגים לבחור בסיס שונה לפונקצית הלוג במשוואה: בפיסיקה נהוג השימוש בלוגריתם הטבעי ובמדעי המחשב בלוג בבסיס. אנחנו נשתמש בבסיסים שונים לפי הצורך, ונשים לב כי שינוי בסיס הלוגריתם מתבטא בהכפלת המרחק בקבוע. מדד זה אינו עונה לקריטריונים של מרחק היות והוא אינו סימטרי ואינו מקיים את אי שוויון המשולש. קל להבין את הסיבה לחוסר הסימטריה אם נזכר כי הראנו ש- D מודד עד כמה קל להבחין בין שתי התפלגויות הנובעות משני מצבי עולם. היות והתצפיות שאנו רואים בפועל תלויות במצב העולם, אז יתכן שאחד ממצבי העולם יספק תצפיות שיקלו על ההכרעה. למרות שאינו עונה על הקריטריונים של מרחק, המדד D מקיים תכונות חשובות ההופכות אותו לשימושי להשוואת התפלגויות. נראה כעת שלוש תכונות כאלו: נראה כי הוא מדד חיובי, וכן את הקשר שלו לשני מדדי מרחק אחרים.

20 טענה: D[p q] הוא אי שלילי, ומקבל ערך אפס אם ורק אם pq כמעט בכל מקום הוכחה x. A { x: p( נשתמש נסמן ב- A את קבוצת המאורעות שעבורם p(x>, { > באי השוויון x log( (x (עבור הבסיס הטבעי, ונרשום (.9 px ( D[ p q] p( x log qx ( x A qx ( px ( log px ( x A qx ( px ( px ( x A qx ( px ( x A x A qx ( px ( x Ω x A נשים לב כי על מנת שיתקיים שוויון, דרוש כי לכל x ב- A מתקיים. p(xq(x ושוויון זה מתקיים אם ורק אם, log qx ( / px ( qx ( / px ( (. [ ] 48 ( ( קיבלנו כי ] q D[ p טענה: D(p q מקיים אם ורק אם p(xq(x לכל x שעבורו.p(x> D p q p( x q( x l x כאשר D מחושב עם לוג בבסיס. הוכחה בתרגיל. (. טענה: D[p q] חסום על ידי ( px ( qx ( ( px ( qx ( Dp [ q] max( p( x, q( x mi( p( x, q( x x x

21 49 (. D[ p q] i ( p q i i l p i, p q ניתן לקרב את D[p q] על ידי l χ p, q טענה: כאשר ומכאן שניתן לקרב את D על ידי מדד, χ שהוא מדד נפוץ בסטטיסטיקה קלאסית להשוואה בין התפלגויות. ההוכחה בתרגיל. (.3 [ (, q( x, y ] [ ] [ D p x y טענה: D(p q מקיים את כלל השרשרת הבא: D px ( qx ( + Dpy ( x qy ( x ] pxy (, D[ p( x, y q( x, y ] p( x, ylog x y qxy (, pxpy ( ( x pxy (, log x y qxqy ( ( x px ( py ( x pxy (, log pxy (, log x y qx ( + x y qy ( x D p x q x + D p y x q y x [ ( ( ] [ ( ( ] הוכחה שימוש במרחק סטטיסטי להערכת סבירות של תוצאות נניח שאנחנו מבצעים ניסויי ברנולי שלכל אחד הסתברות p להצלחה. מהו הסיכוי לקבל m הצלחות? מספר ההצלחות מתפלג בינומית m m! m m P ( m p ( p p ( p m m!( m! נשתמש בנוסחת סטירלינג לקירוב העצרת! π log! log + log e ( ( ( π

22 5 ואם נזניח את האיבר השלישי, נוכל לרשום! log log m m!( m! [ log ] [ mlog m m] [( mlog( m ( m ] m m log( log( m log( m m m m m log log ואם נסמן ב- m / את התפלגות ברנולי עם סיכוי להצלחה, אז קיבלנו m m m m log ( P ( m log log + D q [ p] m/ ( ( m/ P m exp D[ q p] ( m q m m + log ( p + log ( p או (הערה: אם נחשב את האקספוננט. D לפי בסיס שתיים אז נקבל "שתיים בחזקת " במקום הקירוב שקיבלנו יכול לשמש אותנו לא רק להערכת ההסתברות לקבל תוצאה מסוימת m הצלחות אלא אף לצורך הערכת הסתברות הזנב כולו (m הצלחות או יותר, בדומה לחסם צ'רנוף. לא נוכיח טענה זו כאן בפירוט, אך ניתן סקיצה של ההוכחה. על מנת לחסום את הסתברות הזנב (דהיינו סכום של (-m איברים אקספוננציאלים, נשים לב כי האיבר הגדול ביותר בסכום הוא האיבר הראשון (m P, וישנם -m איברים בסכום. לכן הסכום כולו קטן מביטוי מהצורה exp D q p exp D q p + l(. ( [ m/ ] ( [ m/ ] וקיבלנו חסם שעבור גדול יורד אקספוננציאלית עם גודל המדגם בדומה לחסם צ'רנוף.

23 5 לצורך ההמחשה, נציג דוגמא מספרית. נחסום את ההסתברות לקבל 7 פעמים "עץ" מתוך הטלות של מטבע מאוזנת. נציב.5p ונקבל.7.3 D[.7,.3.5,.5].7log +.3log הטלות כאשר המטבע מתוך "עץ" 7 פעמים מכאן שההסתברות לקבל מאוזנת, חסומה על ידי P 7.5,.5 exp.83 exp( ( [ ] דוגמא: מרחק בין התפלגויות נורמליות נניח שיש לנו שני מצבי עולם, אחד בו התצפיות מגיעות מהתפלגות נורמלית המאופיינת ע"י תוחלת µ וסטית תקן, והשני בו התצפיות מפולגות נורמלית σ σ µ עם תוחלת וסטית תקן f ( x πσ σ f ( x ( x µ exp, ( x µ exp πσ σ נחשב את המרחק הסטטיסטי בין ההתפלגויות. באפן טבעי, מרחק הסטטיסטי עבור משתנים רציפים מוגדר כאינטגרל על פונקצית צפיפות ההתפלגות במקום סכום על פונקצית ההסתברות. נשתמש בביטויים עבור תוחלת ושונות של משתנים, E ( x µ ונרשום σ נורמליים:, E[ x ] µ D[ P P ] P ( x P ( x log dx P ( x σ σ ( x µ ( x µ exp log dx σ + σ σ πσ ( x µ σ ( x µ σ σ exp ( x µ + µ µ * log σ + σ πσ σ E ( [ x µ + ( x µ ( µ µ + ( µ µ ] σ σ log + σ σ σ ( µ µ * log σ σ σ dx

24 ,P 5 בשוויונים המסומנים בכוכבית השתמשנו בעובדה שתחת ההתפלגות σ ולכן ( x µ יש שונות ל- ( x µ / σ ( x e σ ( πσ µ. במקרה הכללי, המרחק שקיבלנו איננו סימטרי כמובן, אך במקרה המיוחד בו השונויות זהות σ σ נקבל כי האיברים הראשונים מתבטלים ונשאר עם (.4 DP [ P] ( µ µ σ כלומר D מבטא במקרה זה את ריבוע המרחק בין התוחלות ביחידות של סטית תקן ("סיגמאות". מרחק זה נקרא גם "מרחק מהאלאנוביס",(Mahalaobis והשורש הריבועי שלו ידוע גם בתור "יחס אות לרעש" Ratio,(Sigal-to-Noise והוא מדד נפוץ למדידת יכולת ההבחנה בין הערכים אפשריים של משתנה מקרי רציף המקבל שני ערכים שעליהם נוסף רעש.

25 53 תרגילים אנו כי נניח. מחליפים פונקצית את ההכרעה הדטרמניסטית, α ( x i P בכלל הכרעה אקראי: בהינתן התצפית x אנו מבצעים את הפעולה α בהסתברות ( α x א. i i הראו כי הסיכון הכולל R R( αi x P( αi x P( x dx i במקום האינטגרל. נתון (במקרה בדיד כעת מופיע על-ידי סכום ( i i ( x ב. הראו כי R הינו מינימאלי אם אנו בוחרים x P α עבור הפעולה המביאה למינימום את הסיכון דטרמיניסטית היא אופטימלית. המותנה, α i, R α i ולכן הכרעה נניח שמציעים לכם להשתתף במשחק הבא: מטילים זוג קוביות הוגנות עד שיוצא "" לפחות באחת מהקוביות. לפני כל הטלה אתם יכולים להחליט אם ממשיכים אתם אם ממנו. יוצאים או במשחק אתם ממשיכים להשתתף להשתתף במשחק אתם זוכים בשקלים עפ"י תוצאת ההטלה (סכום התוצאות בשתי הקוביות למעט המקרה שבו יוצא "" לפחות באחת מהקוביות שבו אתם מפסידים את כל מה שהרווחתם. אם הספקתם לצאת מהמשחק לפני שיצאה התוצאה "" אתם נשארים עם מה שהרווחתם עד כה. נסחו את הבעיה כבעיית הכרעה בייסיאנית. א. מהי האסטרטגיה הבייסיאנית האופטימאלית לקבלת החלטה אם להמשיך ב. לשחק או לצאת מהמשחק? מהו הסכום המרבי שתהיו מוכנים לשלם כדי להשתתף במשחק? נמקו. ג.. יהיו s ו- s שני "מקורות" פואסוניים, עם λ ו- λ בהתאמה. א. בהנתן סדרת דגימות מאחד המקורות, כמה דגימות נחוצות להכריע מהו מקור הסדרה בוודאות של 99 אחוזים (לכל כיוון. ב. תאר גישה בייסיאנית לטיפול במקרה בו נוסף מקור שלישי עם יהיה כלל ההכרעה במקרה זה? על. λ 3 מנת מה.3 ב. גבול הכרעה בין התפלגויות נורמליות. א. נתונה בעיית ההכרעה הבאה: X מתפלג נורמלית (חד ממדית עם. P x w N µ, σ, P x w N µ, σ מהו גבול ההכרעה ( ( בהנחה כי P w ( ( ( ההסתברויות? P w ההכרעה גבול מהו P X w N µ, ( ( האפריוריות לשני מצבי העולם שוות מתפלג X אם P X w N µ,. ( X ( ( X ( דו-נורמלית עם.4

26 י 54 ג. מצא את הגבול במקרה הפרטי בו מטריצות הקווריאנס הן אלכסוניות ושוות וכן ההסתברויות האפריוריות שוות ומטריצת המחירים מקיימת λ λ ו-. λ λ משתנים-מקריים המתפלגים באופן אחיד בקטע [,] הן צלעותיה. נגדיר x,..., x יהיו x, x,..., x V (כלומר נפח התיבה ה- ממדית ש- xi? limv i א. ב. מהו הנפח של ה- לשורש זה גודל השוו האורכים הממוצעים של הצלעות, (כלומר "הנאיבי", המתקבל ממכפלת.( ( / הוכיחו כי ה"מרחק" D בין שתי התפלגויות ברנולי עם סיכויי הצלחה p ו- q מקיים D[ p q] ( p q l הדרכה: הגדירו פונקציה g(p,q שהיא ההפרש בין שני האגפים g ( pq, D[ p q] ( p q l q והסיקו הראו כי הנגזרת של פונקציה זאת קטנה או שווה לאפס כאשר p. q p מכך כי q g( p, עבור הוכח כי המרחק D חסום על ידי ( px ( qx ( ( px ( qx ( Dp [ q] max( p( x, q( x mi( p( x, q( x x x [ q] D p, p q ניתן לקרב את D[p q] על ידי i ( p q i i l p i l χ p, q 8. הוכח כי כאשר 9. חשב את המרחק הסטטיסטי בין שתי התפלגויות פואסוניות.. חשב את המרחק הסטטיסטי בין שתי התפלגויות אקספוננציאליות.

27 55 תרגיל מחשב כתבו תכנית להכרעה סדרתית בין טקסט הכתוב באנגלית לטקסט כתוב בצרפתית, על סמך פילוגי האותיות הבודדות בשתי השפות (כולל רווח. הקלט לתכנית יהיה. α, הפילוגים, טקסט ארוך והסתברויות השגיאה מסוג ראשון ושני β ( צייר גרף של הציון המצטבר (לוג הנראות כפונקציה של אורך הטקסט. סמן א. את החסמים ('B,'A. מהו אורך הטקסט הנדרש להכרעה ומהן תוצאות המבחן. ב. צור גרפים של אורך הטקסט כפונקציה של α עבור β קבוע ולהיפך. ג. בין הסטטיסטי המרחק על-פי הצפוי לאורך המתקבלת התוצאה את השוו ד. הפילוגים. מהסעיפים החישובים על וחזרו שלישית, (לטינית בשפה טקסט מצאו ה. הקודמים עבור השפה החדשה עם אחת משתי השפות הקודמות.

28 56